Al in de vroege middeleeuwen stond op de plaats van het huidige Hof ter Saksen een pachtgoed dat vermoedelijk een dubbele bestemming had als landbouwuitbating en als herberg voor de reizigers. Dit laatste kwam door de ligging naast de grote baan van Antwerpen naar Gent, zodat vele reizigers het Hof aandeden.
De oudst gekende eigenaar van het goed was een zekere jonkvrouw Margareta Noethaeckx (1365), dochter van ridder Diederik Noethaeckx, grafelijke raadsheer en meier van Destelbergen. Nadien kwam het leengoed in het bezit van de familie Vijd, beter bekend als opdrachtgevers van het Lam Godsretabel (1432) en bouwheren van het kasteel Cortewalle. In 1781 komt het goed in het bezit van Jan-Baptist Versmessen, hoofdschepen van het Land van Waas, die het oude gebouw tot op de grond laat afbreken om het te vervangen door een ‘huis van plaisance’ naar Italiaans model, omringd door mooie vijvers en tuinen. In die tijd kreeg het landgoed stilaan zijn huidige vorm. Rond 1920 kwam het in handen van de laatste eigenaar, de industrieel Edmond Meert. Hij maakte slechts een korte tijd gebruik van het kasteel en liet de hoeve ombouwen tot een riant landhuis. Na het overlijden van Edmond, in 1961, verviel het kasteel tot een bouwvallige ruïne na verwaarlozing van zijn erfgenamen.
Na een lange, en soms moeilijke aankoopprocedure, werd op 11 juni 1982 het park met de daar rond liggende gronden uiteindelijk eigendom van de gemeente Beveren. Het domein werd ingericht als een gemeentelijk parkgebied en arboretum en ook de gemeentelijke groendienst vond onderdak op het terrein. Momenteel bekijkt de gemeente Beveren samen met privé-investeerders de mogelijkheden om het kasteel een nieuwe publieke of private bestemming te geven.